近年来,图形神经网络(GNN)与复发性神经网络(RNN)的变体相结合,在时空预测任务中达到了最先进的性能。对于流量预测,GNN模型使用道路网络的图形结构来解释链接和节点之间的空间相关性。最近的解决方案要么基于复杂的图形操作或避免预定义的图。本文提出了一种新的序列结构,以使用具有稀疏体系结构的GNN-RNN细胞在多个抽象的抽象上提取时空相关性,以减少训练时间与更复杂的设计相比。通过多个编码器编码相同的输入序列,并随着编码层的增量增加,使网络能够通过多级抽象来学习一般和详细的信息。我们进一步介绍了来自加拿大蒙特利尔的街道细分市场流量数据的新基准数据集。与高速公路不同,城市路段是循环的,其特征是复杂的空间依赖性。与基线方法相比,一小时预测的实验结果和我们的MSLTD街道级段数据集对我们的模型提高了7%以上,同时将计算资源要求提高了一半以上竞争方法。
translated by 谷歌翻译
In this paper, we present a novel control architecture for the online adaptation of bipedal locomotion on inclined obstacles. In particular, we introduce a novel, cost-effective, and versatile foot sensor to detect the proximity of the robot's feet to the ground (bump sensor). By employing this sensor, feedback controllers are implemented to reduce the impact forces during the transition of the swing to stance phase or steeping on inclined unseen obstacles. Compared to conventional sensors based on contact reaction force, this sensor detects the distance to the ground or obstacles before the foot touches the obstacle and therefore provides predictive information to anticipate the obstacles. The controller of the proposed bump sensor interacts with another admittance controller to adjust leg length. The walking experiments show successful locomotion on the unseen inclined obstacle without reducing the locomotion speed with a slope angle of 12. Foot position error causes a hard impact with the ground as a consequence of accumulative error caused by links and connections' deflection (which is manufactured by university tools). The proposed framework drastically reduces the feet' impact with the ground.
translated by 谷歌翻译
Light guide plates are essential optical components widely used in a diverse range of applications ranging from medical lighting fixtures to back-lit TV displays. In this work, we introduce a fully-integrated, high-throughput, high-performance deep learning-driven workflow for light guide plate surface visual quality inspection (VQI) tailored for real-world manufacturing environments. To enable automated VQI on the edge computing within the fully-integrated VQI system, a highly compact deep anti-aliased attention condenser neural network (which we name LightDefectNet) tailored specifically for light guide plate surface defect detection in resource-constrained scenarios was created via machine-driven design exploration with computational and "best-practices" constraints as well as L_1 paired classification discrepancy loss. Experiments show that LightDetectNet achieves a detection accuracy of ~98.2% on the LGPSDD benchmark while having just 770K parameters (~33X and ~6.9X lower than ResNet-50 and EfficientNet-B0, respectively) and ~93M FLOPs (~88X and ~8.4X lower than ResNet-50 and EfficientNet-B0, respectively) and ~8.8X faster inference speed than EfficientNet-B0 on an embedded ARM processor. As such, the proposed deep learning-driven workflow, integrated with the aforementioned LightDefectNet neural network, is highly suited for high-throughput, high-performance light plate surface VQI within real-world manufacturing environments.
translated by 谷歌翻译
Text-based personality computing (TPC) has gained many research interests in NLP. In this paper, we describe 15 challenges that we consider deserving the attention of the research community. These challenges are organized by the following topics: personality taxonomies, measurement quality, datasets, performance evaluation, modelling choices, as well as ethics and fairness. When addressing each challenge, not only do we combine perspectives from both NLP and social sciences, but also offer concrete suggestions towards more valid and reliable TPC research.
translated by 谷歌翻译
随着越来越多的深度学习对在设备上的Tinyml应用程序的采用,人们对对边缘进行优化的更有效的神经网络骨架的需求不断增加。最近,注意力冷凝器网络的引入导致低英寸,高效,自我发挥的神经网络,在准确性和速度之间取得了强大的平衡。在这项研究中,我们介绍了一种新的更快的注意力冷凝器设计,称为双感应注意力冷凝器,以实现更多的冷凝特征嵌入。我们进一步采用了机器驱动的设计探索策略,该策略施加了最佳实践设计限制,以提高效率和稳健性,以产生骨干的宏观构造结构。与其他几个其他最先进的有效骨架相比,所得的主链(我们命名为“参加”)在嵌入式ARM处理器上的推理吞吐量明显更高(以较高的精度和速度比FB-NET C快> 10倍)小型型号尺寸(以较高的速度和类似的精度小于OFA-62小1.47倍),并且准确性(以更高速度的ImageNet上的MobileVit Xs高1.1%)。这些有希望的结果表明,探索不同的有效体系结构设计和自我注意力的机制可以为Tinyml应用带来有趣的新构建块。
translated by 谷歌翻译
尽管图像变形金刚与计算机视觉任务中的卷积神经网络显示出竞争性结果,但缺乏诸如区域的电感偏见仍然在模型效率方面构成问题,尤其是对于嵌入式应用程序而言。在这项工作中,我们通过引入注意力面具以将空间位置纳入自我发挥作用来解决这个问题。局部依赖性有效地捕获了掩盖的注意力头,以及由未掩盖的注意力头部捕获的全球依赖性。随着蒙版注意力图像变压器 - MAIT,与CAIT相比,TOP -1的准确性提高了1.7%,与SWIN相比,吞吐量更少,吞吐量提高了1.5倍。使用注意力面罩编码局部性是模型的不可知论,因此它适用于整体,分层或其他新型变压器体系结构。
translated by 谷歌翻译
现代深度神经网络必须展示最先进的准确性,同时表现出低延迟和能耗。因此,在生成新架构时,神经结构搜索(NAS)算法将这两个约束考虑在内。但是,诸如延迟的效率度量通常是依赖于需要NAS算法来测量或预测架构延迟的硬件。测量每个评估架构的延迟增加了NAS过程的大量时间。在这里,我们将微处理器提出了一个先验的延迟估计枫木,其不依赖于传输学习或域适应,而是通过在训练期间结合先前的硬件特征来推广到新硬件。枫木利用新的定量策略来通过测量相关的硬件性能度量来表征底层微处理器,产生细粒度和富有效应硬件描述符。此外,所提出的枫木从CPU和GPU之间的紧密耦合I / O以及它们在从CPU中测量GPU硬件的微处理器性能硬件计数器时预测GPU上的DNN延迟的依赖性。通过这种定量策略作为硬件描述符,Maple可以通过一些镜头适应策略概括到新硬件,其中少于3个样本,它具有超过最先进的方法的3%改进,需要多达10个样品。实验结果表明,随着最先进的方法,增加了几次喷射适应样品到10提高了精度12%。此外,据证明,与任何数量适应样品的相关基线相比,枫木呈现出8-10%的精度,平均相比。
translated by 谷歌翻译
制造过程中的一个关键方面是用于缺陷和缺陷的制造部件的视觉质量检测。只有人类的视觉检查可能非常耗时和费力,并且是一个重要的瓶颈,特别是对于高吞吐制造场景。鉴于深度学习领域的显着进展,自动化视觉质量检验可能导致制造过程中的高效和可靠地检测缺陷和缺陷。然而,深度学习驱动的视觉检查方法通常需要大量的计算资源,从而限制吞吐量,并充当瓶颈,以实现智能工厂的广泛采用。在这项研究中,我们调查了利用机器驱动的设计探索方法来创建TinyDefectNet,这是一种高度紧凑的深度卷积网络架构,适用于高通量制造视觉质量检验。 TinyDefectNet包括仅〜427k的参数,并且具有〜97米的计算复杂性,但实现了最先进的架构的检测准确性,用于在Neu缺陷基准数据集上进行表面缺陷检测的任务。因此,TinyDefectNet可以在52 $ \ times $较低的架构复杂度和11x较低的计算复杂度下实现相同的检测性能。此外,使用AMD Zendnn Accelerator库,在AMD EPYC 7R32上部署了TinyDefectNet在AMD EPY 7R32上部署了7.6倍的吞吐量更快的吞吐量。最后,进行了解释性的性能验证策略,以确保TinyDefectNet展出了正确的决策行为,以改善运营商和检查员对其使用的信任。
translated by 谷歌翻译
这项研究的目的是开发一个强大的基于深度学习的框架,以区分Covid-19,社区获得的肺炎(CAP)和基于使用各种方案和放射剂量在不同成像中心获得的胸部CT扫描的正常病例和正常情况。我们表明,虽然我们的建议模型是在使用特定扫描协议仅从一个成像中心获取的相对较小的数据集上训练的,但该模型在使用不同技术参数的多个扫描仪获得的异质测试集上表现良好。我们还表明,可以通过无监督的方法来更新模型,以应对火车和测试集之间的数据移动,并在从其他中心接收新的外部数据集时增强模型的鲁棒性。我们采用了合奏体系结构来汇总该模型的多个版本的预测。为了初始培训和开发目的,使用了171 Covid-19、60 CAP和76个正常情况的内部数据集,其中包含使用恒定的标准辐射剂量扫描方案从一个成像中心获得的体积CT扫描。为了评估模型,我们回顾了四个不同的测试集,以研究数据特征对模型性能的转移的影响。在测试用例中,有与火车组相似的CT扫描,以及嘈杂的低剂量和超低剂量CT扫描。此外,从患有心血管疾病或手术病史的患者中获得了一些测试CT扫描。这项研究中使用的整个测试数据集包含51 covid-19、28 CAP和51例正常情况。实验结果表明,我们提出的框架在所有测试集上的表现良好,达到96.15%的总准确度(95%CI:[91.25-98.74]),COVID-119,COVID-96.08%(95%CI:[86.54-99.5],95%),[86.54-99.5],),,),敏感性。帽敏感性为92.86%(95%CI:[76.50-99.19])。
translated by 谷歌翻译